技术

[117]学习《Real-Time Event Streaming What Are Your Options》

一个典型的流式架构(a typical streaming architecture)

这是一张图片

流式架构三组件

  • A producer: 与数据源相连的软件系统。生产者从数据源采集、转换、过滤、聚合、增强之后发布事件数据到流式系统中。
  • The streaming system: 接受生产者发布的数据，持久化这些数据，然后可靠的将数据分发给消费者。
  • Consumers: 从流中订阅数据，并操作，或者分析这些数据。

技术选型(Options)

Producers:

  • Apache Flume
  • StreamSets Data Collector

Streaming System

  • Apache Kafka
  • MapR Streams

Comsumers(Processing)

  • Spark Streaming
  • Apache Storm
  • Apache Flink
  • Apache Apex

参考：

1.Real-Time Event Streaming What Are Your Options?
2.《Streaming Architecture》
3.Stream-based Architecture
4.Streaming Architecture: Ideal Platform for Microservices